Rommel dilahirkan di Heidenheim, kira-kira 50 kilometer dari Ulm di negeri Württemberg. Beliau ialah anak kedua seorang Guru Besar Protestan sekolah menengah di Aalen, Erwin Rommel Sr. dan Helene von Luz, anak perempuan seorang orang kenamaan tempatan. Pasangan tersebut turut mempunyai tiga orang anak yang lain, dua anak lelaki, Karl dan Gerhard, dan seorang anak perempuan, Helena. Rommel, semasa mengimbas semula masa kanak-kanaknya menulis "tahun-tahun awal saya berlalu dengan kegembiraan". Pada usia 14 tahun, Rommel dan seorang rakannya membina sebuah peluncur berskala penuh yang dapat terbang dalam jarak pendek. Rommel bercita-cita untuk menjadi seorang jurutera aeronautik; walau bagaimanapun atas desakan ayahnya beliau telah menyertai Regimen Infantri Ke-124 Württemberg sebagai seorang pegawai kadet pada tahun 1910, dan seterusnya dihantar ke Sekolah Pegawai Kadet di Danzig.

Semasa di Sekolah Kadet, awal 1911, Rommel bertemu bakal isterinya, Lucie Maria Mollin. Beliau tamat pengajian pada November 1911 dan ditauliahkan sebagai Leftenan pada Januari 1912. Rommel dan Lucie telah berkahwin pada 1916 dan mendapat seorang anak, Manfred, pada tahun 1928. Ahli ilmiah John Bierman dan Colin Smith berpendapat bahawa pada masa yang sama, Rommel telah mengadakan hubungan sulit dengan Walburga Stemmer pada 1912 dan hubungan tersebut telah menghasilkan seorang anak perempuan yang bernama Gertrud.

Perang Dunia I

Semasa Perang Dunia I, Rommel berkhidmat di Perancis serta di medan Romania dan Itali. Beliau telah tercedera sebanyak tiga kali dan dianugerahkan pingat Iron Cross. Rommel menjadi penerima termuda pingat tertinggi Prussia, iaitu Pour le Mérite, sebuah penghargaan yang lazimnya dikhaskan untuk jeneral-jeneral dan diterimanya setelah terlibat dalam pertempuran di pergunungan timur laut Itali. Pingat tersebut dianugerahkan khusus daripada Pertempuran Longarone dan penawanan Gunung Matajur beserta 150 pegawai Itali, 7000 askar dan 81 meriam artileri. Batalion pimpinannya juga memainkan penglibatan penting dalam kemenangan muktamad Kuasa-Kuasa Tengah (Central Powers) terhadap Tentera Itali dalam Pertempuran Caporetto.

Tahun-tahun antara perang

Setelah perang tamat, Rommel telah memegang jawatan pemerintah batalion dan menjadi pengajar di Sekolah Infantri Dresden dari 1929-1933 dan Akademi Perang Potsdam dari 1935-1938. Diari-diari perang Rommel, Infanterie greift an ("Serangan Infantri"), yang diterbitkan pada 1937 telah menjadi buku teks tentera yang tersohor dan juga menarik perhatian Adolf Hitler yang melantik Rommel untuk bertanggungjawab terhadap latihan Hitler Jugend tahun yang sama. Pada masa yang sama, beliau masih memegang jawatannya di Potsdam. Rommel, pada masa tersebut berpangkat kolonel, telah dilantik sebagai Komandan Akademi Perang di Wiener Neustadt pada 1938. Di sini, beliau memulakan sambungan kepada buku Serangan Infantri, iaitu Panzer greift an ("Serangan Kereta Kebal"). Selepas berkhidmat dalam tempoh yang pendek, Rommel telah disingkirkan; namun begitu beliau telah dilantik menyandang jawatan pemerintah batalion perlindungan peribadi Adolf Hitler (Führer-Begleitbattalion).